Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning
解锁语音-文本组合能力：无需指令微调的遵循指令语音语言模型
🧭 语音语言模型 · 权重组合跨模态迁移
University of California, Santa Barbara · MIT-IBM Computing Research Lab, IBM Research
仅通过一次语音预训练后与文本指令微调向量权重相加，零语音指令数据实现指令遵循语音模型
📌 工作参考价值（4 点）
- 多模态助手低成本构建：可将已有强大指令遵循能力的文本LLM快速扩展为语音助手，仅需一轮语音适配预训练，无需昂贵的大规模语音指令数据，适合电商语音搜索、客服等场景快速原型。
- 权重算术即插即用：方法本质是模型融合（基座+任务向量），工程实现极其简单，可直接复用现有文本LLM的训练成果，减少重复训练成本，为Agent系统增加语音交互通道提供新范式。
- 模态能力解耦升级：当文本LLM基座或指令微调版本迭代时，只需重新计算任务向量并与原有语音适配权重组合，实现语音能力的快速升级，适合迭代快速的业务场景。
- 可推广到其他模态：该组合策略不限于语音，可借鉴用于图像、视频等模态的指令遵循迁移，为统一多模态推荐交互（如语音搜索、图像评论理解）提供统一框架。